CLB được thành lập năm 1973 sau khi London Ideal Clothiers giải thể.[1] Tại thời điểm đó hầu hết các cầu thủ của Clothiers đang chơi tại đội bóng thuộc Sunday league Victoria Millers, và sau khi thảo luận với Dave Woodley, Whitworths FC được thành lập.[1] CLB mới bắt đầu ở Division One của Rushden and District League. Sau khi vô địch ở 2 mùa giải 1975–76 và 1976–77, họ chuyển lên East Midlands Alliance.[1] CLB đoạt Munton Cup 2 lần. Trong lần thứ hai, cả đội hình chính và đội dự bị gặp nhau trong trận chung kết, đội dự bị đã giành chiến thắng 6–1.[1] The following season reserve teams were banned from entering the cup.[1]

Sau khi có nhiều sự thay đổi về sân vận động,[1] CLB lên chơi ở Division One của United Counties League năm 1985.[2] Sau đó CLB trụ lại được ở Division One, hai lần về đích ở vị trí thứ 2,[2] và đoạt chức vô địch khi không thua một trận nào ở mùa giải 2006–07.

Mùa hè năm 2013, HLV Steve Sargent và Matty Freeman bị sa thải và thay thế bởi cựu tiền đạo của Flourmen là James Daldy cùng với trợ lý của ông, từng là một cầu thủ chuyên nghiệp Tommy Jaszczun.[1]

Mùa hè năm 2014, Whitworth trải qua sự thay đổi lớn về cầu thủ và họ đứng thứ 17 chung cuộc ở Division One trong mùa giải đầu tiên Daldy dẫn dắt.